Augmented Transition Network as a Semantic Model for Video Data

An abstract semantic model called the augmented transition network (ATN), which can model video data and user interactions, is proposed in this paper. An ATN and its subnetworks can model video data based on different granularities such as scenes, shots and key frames. Multimedia input strings are used as inputs for ATNs. Key frame selection is based on temporal and spatial relations of semantic objects in each shot. The relations of semantic objects are captured from our proposed unsupervised video segmentation method which considers the problem of partitioning each frame as a joint estimation of the partition and class parameter variables. Unlike existing semantic models which only model multimedia presentation, multimedia database searching, or browsing, ATNs together with multimedia input strings can model these three in one framework. RÉSUMÉ. Dans cet article est présenté un modèle sémantique théorique appelé ATN (augmented transition network) qui est capable de générer des données vidéo et de créer des interactions avec l’utilisateur. Un ATN et ses sous-reseaux peuvent développer des bases de données video basées sur différents objets tel que des scènes, des images ou des “key frames.” Les chaines de données multimédia sont utilisées comme sources d’entrées par les ATN. La sélection des "key frames" est elle basée sur une relation temporel et spatiale des objets sémantiques. Cette même relation est aquise par notre méthode de segmentation vidéo autonome proposée, laquelle se charge de partitioner chaque image en créeant une estimation jointe des variables de paramètres de classes et de la partition en elle même. Contrairement aux modèles sémantiques existant qui se contentent de générer soit une présentation multimédia, soit une base de données de recherche multimedia, ou tout simplement un affichage (appelé également “browsing”), les ATN combinés à des donnée d’entrée multimedia peuvent générer ces trois derniers à la fois en un unique cadre de travaille.